#Long context

3 篇

VFold: Symmetry-Aware Cross-Layer Value Cache Compression

VFold：对称性感知的跨层 Value Cache 压缩

🧭 LLM 推理 KV cache 压缩

Johns Hopkins University · George Mason University

利用 value cache 跨层对称性做无损合并，不改模型结构，可与量化/剪枝组合进一步压缩

📌 工作参考价值（4 点）

适合长上下文 Agent/RAG/LLM 排序服务：在不改模型结构、不重新训练的前提下，于 decode 前对 value cache 做跨层对称合并，可直接降低显存占用，线上可插拔。
可与 KV cache 量化或 key cache pruning 组合：先做 VFold 式 value 合并，再做高压缩比量化/剪枝，能在 memory 受限条件下换更大 batch 或更长上下文；需用 LongBench/RULER/多轮工具调用等业务指标回归。
工程实现上只需读取 value cache 并做轻量融合/索引，对注意力结构无侵入，适合已经冻结模型参数的线上推理框架（如 vLLM、TensorRT-LLM）外挂使用。
可离线检测各层 value 表示的余弦相似度/CKA，定位高冗余层，再决定合并范围；若用 LLM 做序列推荐或用户行为编码，类似跨层冗余也可能存在，值得做一次成本极低的探测。

LLM | 2026-10-08 | cs.LG | score 7/10

日志结构Transformer：分离残差与扩展嵌入以压缩KV缓存

🧭 Transformer架构改进 · KV cache压缩 ★ 深度解读

University of Illinois Chicago

提出日志结构Transformer，用每层32维扩展嵌入替代全宽KV缓存，使924M模型持久注意力内存减少104倍且长上下文更优

📌 工作参考价值（4 点）

对于需要处理长用户行为序列或长文档上下文的电商/搜索推荐LLM，可借鉴双通道设计：将注意力KV输入改为低维log-structured扩展嵌入，回合间释放全宽KV缓存，显著节省显存，支持更长用户历史。
架构改动仅影响注意力输入，与GQA、量化、层复用等现有压缩技术正交；论文显示Extender+GQA在参数更少情况下仍优于MHA Transformer，可直接叠加到现有推理优化栈。
推理工程上可采用 ephemeral kv-cache 策略：持久保存x*缓存，按需重投影KV，适合多轮Agent或低频长上下文请求，避免长期占用大量显存。
分离下一token预测残差流与注意力记忆通道的思想，可能提升长序列建模能力（如多key检索类任务），在用户行为建模或长文档理解场景值得验证。

LLM | 2026-09-25 | HF Daily | score 8/10

MoNe：用于高效长上下文推理的模块化神经记忆

🧭 长上下文推理 · 神经记忆

Qualcomm AI Research

提出轻量模块化神经记忆 MoNe，通过 test-time fast-weight 学习实现 O(N) 预处理、O(1) 查询的长上下文推理，无需重训练

📌 工作参考价值（4 点）

在电商/Agent 场景处理超长用户会话或商品描述时，可借鉴 MoNe 的 test-time fast-weight memory：将长上下文分段压缩进轻量记忆参数，在线推理只从 query 生成 KV，避免每次带全量上下文；特别适合在移动端/边缘设备控制峰值显存。
该方法附加在冻结模型上，仅 6.4% 参数开销，业务上可作为 Plug-in 模块对已有 LLM 服务做增量改造，无需全量重训，风险可控。
注意 test-time learning 需要对每个 context 做梯度更新，适合将用户长期历史、固定知识库等离线预处理并缓存 memory，在线摊销成本；高并发推荐/搜索 query 侧可享 O(1) 查询。
128K 长度下 compute 和峰值 GPU 内存降低约 80%，且在小模型长上下文提取信息不稳定时仍保持性能，可参考该量化结果作为成本收益评估。

LLM | 2026-08-18 | cs.LG | score 7/10